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Системи опису мимтчних прояв\в у жестовй мов! 


В работе рассмотрена проблема разработки системы описания мимических проявлений в украинском 
жестовом языке для задачи моделирования мимики в системах интерактивного обучения жестового языка. 
Проведен анализ существующих систем описания мимики в жестовом языке, даны оценки полноты этих 
систем, указаны их недостатки и области их применения. Выдвинуты основные требования, которым 
должна соответстовать система описания мимики в украинском жестовом языке. 
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У роботи розглядаеться проблема розробки системи опису мимчних проявв в украйнсьюй жестовй мов! 
для задач1 вдтворення м!м1ки в системах 1нтерактивного навчання жестово! мови. Проведено анал!з 
1снуючих систем опису мм1ки в жестовый мов1, наведено ошнки повноти цих систем, 1х недолжи та 
област! 1х застосування. Визначено основн! вимоги, яким повинна задовольняти система опису ммки в 
укра!нсьюй жестовйй мов! . 
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Введение 


Мимика — форма выражения человеком отношения к чему-либо, имеющая про- 
явление в сокращении мышц лица и шеи. Кроме своего основного значения — выраже- 
ния эмоций, она также имеет применение в жестовой речи при общении неслышащих 
людей; в этом случае мимика имеет более широкое понимание — как способ выражения 
смысла, который передается собеседнику при общении [1]. 

Существует множество различных подходов к описанию мимики. 

В обыденной жизни мимика и эмоции воспринимаются как единое целое (как 
макровыражение) и как однозначное выражение той или иной эмоции, без рассмотре- 
ния каких-то особенностей. Именно поэтому в этом ключе мимика является синонимом 
эмоций, как наиболее доступная и понятная форма их выражения, соответственно опи- 
сывается в терминах названия той или иной эмоции. 
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С точки зрения психологии и психиатрии мимика лица имеет различные степени 
проявления, какие-то отличительные черты (микровыражения), которые выделяют эту 
мимику от другой, похожей на нее [2]. Физиологи рассматривают мимику как набор 
состояний мышц лица или состояний определенных лицевых нервов [3]. Отметим, 
что описание физиологического состояния в отрыве от внутреннего эмоционального 
состояния (или смыслового значения) не дает возможности правильно определить 
наблюдаемое мимическое выражение. 

Как отмечается в работе [4], экспрессия (которая показывает уровень эмоциональ- 
ного состояния) больше представлена в верхней части лица, тогда как артикуляция 
выражается изменением конфигурации рта / челюсти, губ, языка, щек и зубов. Артику- 
ляция делится на губные жесты и на виземы (движения рта, производные от фонем 
разговорной речи). Авторы выделяют около 30 фонем, которые имеют аналоги в жесто- 
вом языке — 10 простых фонем и 20 сложных: 

— простые включают в себя фонемы [, ЕЁ, р, } 5, 5, О, д, а; 

— сложные представляют собой комбинацию простых фонем. 

Также присутствуют фонемы а, Б, М, №, [, которые не используются самостоя- 
тельно и присутствуют только в составе сложных фонем. 

В современном Украинском жестовом языке проводились различные исследова- 
ния в области систематизации сведений о языке [5], [6], однако малоисследованной 
является такая часть жестового языка, как мимика. Интерес представляют исследования 
мимических компонент жестовой речи в ракурсе их формального описания и пред- 
ставления данных в виде, удобном для компьютерного моделирования и анализа. 

В исследованиях жестового языка очень часто возникает вопрос касательно того, 
как представить данные на жестовом языке. При этом необходимо указать те элементы 
данных на жестовом языке, которые представляют интерес для рассматриваемой 
задачи. Система, которая представляет данные на жестовом языке в письменной форме, 
называется системой записи или системой нотации. Система нотации также может 
выступать как альтернатива текстовой записи жестов для неслышащих людей с низкой 
письменной грамотностью не-жестового языка. Преимущества такого способа пред- 
ставления данных очевидны: отсутствуют языковые барьеры и данные системы записи 
можно использовать в компьютерных базах данных. В статье [7] выделено 20 систем 
нотации, среди наиболее значимых отмечены системы — Э®юКое Моайоп, Натбаге 
поаНноп Зузет (НатМ№ 5,5), Зийоп 51еп\/пйпо. В статье [4], посвященной разработке 
элементов описания мимики для системы нотации НатМ о5у$, выделяются три системы, 
которые используются для описания мимики в исследованиях жестового языка — Еас1а1 
Асйоп Содше Зужет (ЕАС$), 51еп\Упипе и ЕдшЬиге Моп-Мапиа! Содте Зухет 
(ЕМС$). Исследователи из организации ПШМ$ЗИСМВ$ [8] так же выделяют систему 
О’51еп и язык лингвистических описаний (язык предикатов). 

В рамках данного исследования были проанализированы три системы, использую- 
щиеся для описания мимических проявлений мимики в жестовом языке — НатМоЗуз [4], 
$121 \/пие [9] и ЕАС$ [10]. 

Проведенный анализ результатов в этой области исследований определил направ- 
ление дальнейших исследований и постановку задачи. 


Постановка задачи: 

—описать структуру мимики и базис выражений; 

—описать существующие методы представления мимики в жестовом языке (ЖЯ); 
— провести исследование базиса выражений в ЖЯ; 

— обозначить задачи для системы представления мимики. 
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1 Системы описания мимики 


В качестве критериев отбора систем описания мимики были приняты следующие 
утверждения: 

— указанные системы должны быть удобны для исследователей; 

— эти системы широко известны и используются большим числом исследователей; 

— использование системы сокращало бы объем описаний по сравнению с текстом. 

На основе данных критериев в конечном итоге были выбраны три системы: ЕАС$, 
51еп\/пипе, НатМо5уз$ и система лингвистических описаний. Выбор этих систем был 
основан на их широком использовании среди исследователей. В то же время, системы 
ЕМС и 5юКое не исследовались, поскольку первой пользуется незначительное число 
исследователей жестового языка, а вторая не содержит элементов описания мимики 
жестового языка. Система лингвистических описаний в данном исследовании исполь- 
зовалась не как самостоятельная система описания мимики, а как средство описания 
обозначений в системах ЕАС$, 51еп\Упипе и НатМ о5уз и сравнения этих обозначе- 
ний между собой. 

Указанные системы можно условно поделить на два вида: 

— графические системы нотации: 51еп\/ гие, НатМо5у5; 
— символьная система нотации: ЕАС$. 

Системы нотации в данном контексте — это система описания нескольких об- 
ластей лица, изменение состояния которых выражается через модификаторы состояния, 
которые могут быть выражены как через графическое описание, так и с помощью сим- 
волов. В графических системах нотации обозначения представлены в виде изображе- 
ний, повторяющих те или иные внешние признаки, которые можно увидеть на лице 
человека. Символьные системы представляют проявления мимики в виде цифробуквен- 
ного кода или иной записи, символы алфавита, при этом запись ведется, как правило, 
в одну строку. В различных системах нотации можно встретить такие модификаторы, 
как модификаторы глаз, рта, носа, лба и другие. Также могут встречаться и другие мо- 
дификаторы, например, подбородка, волос. 

У епУУгто. 51еп\/папс [9] была создана для схематического обозначения жесто- 
вого языка. Основное отличие её от НатМо5у$ заключается в том, что это знаковая 
система для письменной речи неслышащих людей (т.е. как альтернатива письменной 
речи разговорного языка). Обозначение мимического выражения интуитивно понятно 
и воспринимается целиком, вместе со всеми признаками, его можно повторить, имея 
знакомство лишь с правилами описания движений тела в этой системе. Запись мимики 
в данной системе повторяет естественное расположение элементов мимики на лице 
человека, а мимическое выражение, за счет отсутствия привязки его к конкретному 
языку, позволяет применять эту систему для различных жестовых языков. 

НатМ№ $у$. НатМ оЗуз [4] предназначалась для лингвистов и исследователей 
жестового языка. По сути, это графическая запись кодов и операторов из ЗюКое Моаноп 
бу$ет, где коды жестов были заменены пиктограммами, повторяющими форму жеста, 
а операторы — специальными стрелками и другими символами, показывающими на- 
правление движений и другие действия. 

НатМ№ 5у$ совсем недавно (в рамках проекта У151САЗТ [4]) включила в свой 
набор признаков элементы, связанные с изменениями в не-мануальных элементах 
жеста (движения головы, плеч, туловища и др.). 

КАСУ. ЕАС$ [10] была первоначально сделана как система описания проявле- 
ний психоэмоционального состояния человека в мимике. В отличие от остальных 
систем, которые описывают состояние лица в категориях внешних проявлений, эта 
система описывает изменения мимики в терминах изменений мышц лица. Исследо- 
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ватели мимики жестового языка критикуют эту систему за сложность изучения си- 
стемы кодирования [4], однако, основное ее преимущество заключается в наиболее 
точном отражении физиологии человека. Так, в описании самой системы [10], [11] 
есть примеры описания базовых эмоциональных выражений. 


2 Исследование базиса выражений в системах нотации 


Методика исследования. Исследования проводились в два этапа. Вначале линг- 
вистические описания символов знаковых систем группировались по признакам, чтобы 
сравнить наборы знаковых систем и дать укрупненную оценку для нескольких знако- 
вых систем. Затем проводился анализ лингвистических описаний знаков и разбиение 
их на элементарные описания. Такой анализ позволил бы рассмотреть знаки в системах 
описания как сумму элементарных описаний (с допущением касательно того, что каж- 
дый компонент, выраженный этим описанием, можно рассматривать по отдельности) 
и таким образом получить минимальный набор компонент (признаков), входящих в зна- 
ковую систему. 

Сравнение наборов знаков, описывающих признаки в мимике. На первом 
этапе были получены таблицы со сравнительными характеристиками наборов знаков 
в системах, в соответствии с их реальным описанием (табл. 1-3). 

Наибольшее число областей лица, которые выделяются в трех системах, есть в 
системе 51еп\/ пп, при этом деление на области чисто пропорциональное, без отдания 
предпочтения какой-либо области. Это, в частности, видно из отклонения от среднего 
для каждой из областей. В то же время, в системе НатМоЗуз признаки разбиты не 
только по областям, но и по функциональным группам: например, все признаки, вклю- 
чая щеки, зубы, челюсть, губы, язык, входят в одну группу, тогда как они в 51еп\/ папе 
входят в две разные области. Большой размер группы губных жестов в НатМоЗуб, 
указывает на смещение акцента в сторону именно этих признаков в системе описания. 
В системе ЕАС$ вообще отсутствует деление лица на области — все признаки, опи- 
сывающие изменение лица, кроме собственно зрачков, выделены в одну большую 
группу. Количество признаков, описывающих лицо в ЕАС$, как видно из табл. 3, 
значительно меньше, чем в остальных системах. (Однако, стоит помнить, что в 
системе ЕАС$ есть три важных аспекта — во-первых, рассматривание этих признаков 
как микровыражений, что фактически означает их равноправие, во-вторых, система 
рассматривает выражения лица — макровыражения, как суперпозицию нескольких 
признаков — микровыражений, в-третьих, в системе признаки соответствуют измене- 
ниям отдельных лицевых мышц, что может говорить о большей функциональной пол- 
ноте системы). В остальном, и ЕАС$, и НатМ о5у$ придают движениям головы и глаз 
одинаково важную роль, рассматривая их отдельно от других, а также выделяют 
одинаковое число признаков для указанных групп. 


Таблица 1 — Группы признаков в 51еп\У пе 


Группа признаков Количество признаков 
«Движения головы» И 
«Брови, глаза, зрачки» Я 
«Щеки, уши, нос, дыхание» И 
«Рот и губы» 30 
«Язык, подбородок, шея» 20 
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Таблица 2 — Группы признаков в НатМо$у$ 


Группа признаков Количество признаков 
«Движения головы» И 
«Взгляд» И 
«Лицо (брови, веки, нос)» 20 
«Губные жесты (щеки, зубы, челюсть, губы, язык» 80 


Таблица 3 — Группы признаков в ЕАС$ 


Группа признаков Количество признаков 
«Движения головы» 14 
«Движения глаз» И 
«Общее поведение» И 
«Основные коды (все лицо)» 40 


® целью получения более детального анализа, лингвистические описания 
мимических выражений были разбиты на отдельные описания, содержащие признаки 
из частей лица, на которых они проявляются. При этом для некоторых признаков, 
имеющих слишком малое число возможных проявлений, либо присутствующих лишь 
В одной системе описания, была выделена группа «прочее», которая не использовалась 
в сравнении систем. 


Таблица 4 — Сравнение наборов признаков в НатМоЗу$, 5121 \/тите и ЕАС$ 


Количество признаков в системе 


Признак $еп\Ун т? НатМо5у$ 
Движения головы И 
Брови 4 
Веки 13 
Направление взгляда И 
Щеки 13 
Нос 3 
Дыхание = 
Губы 35 
Язык и 
Зубы 2 7 9 
Челюсть 3 р, 4 
Прочее 8 12 - 
Итого 62, 109 88 


*В 51еп\У папе присутствуют специальные обозначения для ушей, лба, ресниц 
и носогубной складки, отсутствующие в других системах. 

** Дыхание входит в 12 других обозначений в самой системе, но не выделено 
как самостоятельное обозначение. 

Все без исключения системы уделяют одинаковое внимание таким признакам, 
как брови, направление взгляда, нос и челюсть. В то же время есть существенное 
различие между тем, как уделяется внимание щекам, губам, языку и зубам в системе 
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НатМ о3у$ и других системах: набор признаков, описывающих эти части лица, суще- 
ственно больше, что особенно заметно на примере различия между НатМ№ озуз$ и ЕАСЪ. 
Это различие указывает на то, что мимика в жестовом языке имеет свои специфи- 
ческие особенности, которая требует выделения большего набора признаков. Однако, 
в отличие от других систем, ЕАСЗ$ выделяет несколько больше движений головы, чем 
другие системы. Также есть небольшое преимущество в возможности описания век в 
системе НатМ№ о5уз. Существует сложность в подсчете: в системе 51еп\У папе выделя- 
ются некоторые признаки, например, дыхание, тогда как 12 признаков, входящих в 
систему НатМ№ 5у$, содержат различные проявления дыхания. Есть один важный 
момент, который можно отметить из сравнения -— не смотря на большее число приз- 
наков, содержащихся в системе 51еп\/ пе, система НатМоЗу$ содержит значительно 
больший набор признаков, характерных для мимики жестовой речи — относящихся к 
нижней части лица. 

Выделение минимального набора признаков, входящих в системы. Как было 
отмечено выше, возникла сложность при подсчете, из-за включения некоторых приз- 
наков в состав других, т.е. подсчитать реальную полноту системы в плане количества 
описываемых признаков, так и их состава не представлялось возможным. Кроме того, в 
системе ЕАСЗ использовался минимальный набор признаков, тогда как в остальных 
системах этот набор является избыточным из-за различных комбинаций элементарных 
признаков. Поэтому, чтобы выяснить, каков минимальный набор признаков, описывае- 
мых в различных системах, наборы анализировались по лингвистическим описаниям 
каждого из символов. 

Каждое лингвистическое описание содержит в себе последовательное описание 
всех составляющих, входящих в выражение, представленных в форме предиката (лин- 
гвистического). Предикат содержит в себе несколько элементов: объект, действие, ха- 
рактер действия. Объект характеризует изменяемую часть выражения (существительное). 
Действие может быть выражено как незавершенным действием (глагол), так и завершен- 
ным (деепричастие). Дополнительно элемент «действие» может содержать степени 
выражения: для глагола — скорость, интенсивность, для деепричастия — сравнительные 
степени. Предикат может содержать как несколько объектов действия, так и самих 
действий, образуя сложный предикат. Исходные описания, представленные в форме 
сложных предикатов, представлялись в виде простых, которые, таким образом, и дава- 
ли искомые элементарные описания. 

В результате разбиения были получены две группы признаков: характеризующие 
форму проявления и отображающие характер движений. Формы проявления были 
сгруппированы по 12 категориям, соответствующим определенным областям головы и 
лица: положение головы, брови, веки, направление взгляда, лоб, щеки (включающая 
подкатегорию дыхание), нос, губы (включая две подкатегории: особая форма губ и 
уголки губ), язык, зубы и носогубная складка. В табл. 5 приведены количественные 
показатели признаков в исследуемых системах. 

Признаки, отображающие характер движений, были разбиты на 5 категорий: ха- 
рактер движений, периодичность, симметрия, степени проявления (включая амплитуду 
и длительность), тип и область действия (включая плоскость движения и тип движе- 
ния). Во всех системах можно выделить следующие параметры: 

— характер движения (статичные, изменяющиеся в одном направлении, перемен- 

ной направленности); 

— периодичность (однократные и многократные); 

— симметрия (симметричные и ассиметричные); 

— по числу значений амплитуды (от 2 до 5); 
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— по длительности (быстрые / кратковременные и плавные / длительные); 
— по плоскости движения (в горизонтальной и фронтальной плоскости); 
— по траектории движения (дуговые, круговые и прямолинейные). 


Таблица 5 — Формы проявления мимики 


Группы признаков $1опУУг т? НатМ№ ш5у$ 

1 «Положение головы (лица)» 3 4 3 
2 «Брови» - 5 

3 «Глаза (веки)» 8 5 
4 «Направление взгляда» 4 5 7 
5 «Лоб» 1 2 0 
6 «Щеки» 2 4 4 
ба Дыхание 1 2 5 
7 «Нос» 4 3 4 
8 Губы и 6 и 
8а Уголки губ 3 4 | 
86 Особые формы губ 1 4 1 
9 Язык _ 4 9 
10 Зубы 4 3 4 
1] Челюсть 2 2 2 
12 Носогубная складка 1 2 0 
Итого 49 58 58 


Сравнение систем. Большинство систем практически в одинаковой мере пред- 
ставляют признаки в таких областях: положение головы, щеки, нос, зубы и челюсть. 
Вместе с тем, есть и отличия; так, 51еп\/ те лучше представляет изменения век, 
лба, губ (особые формы губ) и носогубной складки; в НатМозЗуз внимание больше 
уделено описанию направления взгляда, дыханию, губам и языку. Однако, несмотря 
на отсутствие явных преимуществ у 51еп\Упипе перед НатМо3Зу$, в ней намного 
лучше представлены описания бровей, лба, уголков губ и носогубной складки. Такое 
различие говорит о том, что система 51еп\Утите лучше описывает экспрессию (эмоцио- 
нальный оттенок) в мимике жестовой речи, чем система НатМ№ 5у$; вместе с тем, 
НатМ№ 5у$ лучше описывает проявления, свойственные мимике жестовой речи. Система 
ЕАСЗ в данной ситуации имеет не очень существенное отличие числа признаков от 
других систем, но имеет одно важное преимущество — часть групп признаков в ее 
наборе является минимально необходимым. Набор признаков, описывающих губы, 
сравним с тем, что имеется в системе НатМо5уз, а по описанию дыхания система ЕАС$ 
уступает другим системам, что явно подтверждается отсутствием признаков, описываю- 
щих дыхание в исходном наборе. 

Если сравнивать системы по характеру движений, то отличия здесь не столь за- 
метны. Существуют лишь два важных отличия — НатМоЗуз и 51еп\Упйп® выделяют 
движения, изменяющиеся с возвратом в исходное положение, и движения, повторяемые 
двукратно соответственно 
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3 Требования, предъявляемые к разрабатываемой системе 


При построении структуры системы представления отметим, что любая система 
представления мимики является интерпретацией исходных данных на ЖЯ разработ- 
чиками системы представления мимики. Поэтому существует проблема в неверном 
толковании исходных данных разработчиками и возможность упущения как несуще- 
ственных каких-то аспектов ЖЯ. Например, с этим связана проблема синхронизации 
различных элементов жестовой речи в потоке ЖЯ: так, если, например, мимическое 
выражение происходит в течение выполнения двух ручных жестов, то это выражение 
может быть разбито на два, с привязкой частей этого выражения к различным жестам. 
Этот подход допустим, если это выражение не меняется на протяжении показывания 
двух жестов (т.к. не нарушается дистрибутивный закон), тогда как отделение частей 
мимических выражений, относящихся к различным жестам по границе начала жеста, 
недопустимо —говорящий на ЖЯ может не успевать синхронизировать жест с мимикой 
или делать логическую паузу между жестами. Это справедливо и для синхронизации 
других элементов жестовой речи между собой. 

Не меньшей проблемой, чем ошибки в создании системы на микроуровне, 
является проблема наличия общего стандарта для различных ЖЯ, такого, что система 
могла в одинаковой мере описывать одни и те же структуры («жесты-омонимы»). Хотя 
и это частично решает проблему с классификацией похожих элементов жестов из 
разных ЖЯ, однако возникает проблема с их общим обозначением. Это можно привести 
на примере мимических выражений: в немецком и русском жестовом языке существует 
одинаковый губной жест «У», который соответствует схожим литерам из немецкого и 
русского разговорного языка. Как утверждается в работе [4], большинство губных 
жестов произошли от разговорной речи слышащих людей. Эти же губные жесты исполь- 
зуются для обозначения слов, начинающихся на эти фонемы. Однако, совершенно 
очевидно, что в немецком и русском жестовом языке эту фонему в начале слова будут 
содержать совершенно разные слова, поэтому и основное значение, передаваемое этим 
губным жестом в данных языках, может различаться. Это же можно сказать и про 
мимические выражения в целом; выражения, используемые в грамматике жестового 
языка, могут отличаться от языка к языку. Исследования, проводимые нами ранее с 
целью сопоставить базис мимических выражений в украинском и американском жес- 
товом языке [12], показали что существует порядка 40% мимических выражений, 
которые имеют одинаковый набор признаков, тогда как остальные 60% составляют 
выражения, существенно отличающиеся друг от друга, поэтому очевидно, что в различ- 
ных ЖЯ будут как различные мимические выражения, так и их значения, что вызвано, 
по-видимому, сильным влиянием разговорного языка. 

Часть систем представления ЖЯ базируется на описаниях структуры письменной 
речи слышащих людей (ОТ.О$5-Базе4 Гог), т.к. в ее создании принимают участие 
слышащие люди. Такая особенность приводит к тому, что жест, представляемый как 
единое целое и имеющий параллельное представление информации, отображается в 
виде последовательности знаков, что неверно. Кроме того, представление ее составля- 
ющих в виде символов, записанных в одной строчке, осложняет чтение, т.к. человек 
воспринимает мимику целиком, а не по отдельным признакам. В некоторой мере это 
можно объяснить удобством представления такого рода информации в виде строк на 
компьютере. Это связано с тем, что большая часть информации, используемой на ком- 
пьютере, является текстовой, а прочая информация (например, формулы или картинки) 
требует специального программного обеспечения и специальных форматов, на которые 
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может не существовать единого стандарта, а если и имеет место быть, то использующее 
их программное обеспечение не входит в обязательный комплект поставки для пер- 
сональных компьютеров. В данный момент эта проблема решается при создании \МеБ- 
приложений, которые используют присутствующий на любом компьютере \\е-браузер 
(например, приложения от Олса-51ОМ ргоуесе [12], использующие $1е МГ, \еБ Р1ауег). 

При создании системы обозначений мимики возникает выбор между тем, какие 
аспекты мимических проявлений следует брать во внимание — внешние, геометри- 
ческие, описывающие изменения контуров составляющих мимического выражения и их 
перемещение в пространстве, или внутренние, мышечные, описывающие изменения сте- 
пени натяжения и растяжения мышц, участвующих в мимическом выражении. Хотя в 
большинстве систем представления мимики используются именно внешние проявления 
(за исключением системы ЕАС5), поскольку они удобны как для исследователя, так 
и для конечного пользователя ЖЯ. Им присущ один важный недостаток, связанный с 
тем, что у разных людей различные пропорции разных элементов лица, а, следова- 
тельно, существует вероятность ошибки при выборе того или иного элемента для 
записи наблюдаемого выражения при достаточно большом размере алфавита такой 
системы обозначения. Во-вторых, такая система очень неудобна для представления про- 
явлений мимики в виде компьютерной анимации. Современные исследования ЖЯ идут 
к тому, что для представления информации на ЖЯ система записи используется лишь 
как промежуточный элемент, а конечным элементом, с которым взаимодействует 
пользователь ЖЯ, является ЗО-модель с компьютерной анимацией. Эта тенденция 
привела к тому, что на данный момент существует достаточно большое количество 
компьютерных моделей, предназначенных для ЖЯ. 

Сама структура З)-модели и способ построения З)-анимации этой модели так 
или иначе задействует внутренние проявления — ведь для расчета положения точек лица 
(т.е. внешних проявлений) требуется верно рассчитать координату глубины точки (в 
отличие от высоты и ширины, используемых только в системах, описывающих внеш- 
ние проявления мимики), которая должна учитывать ограничения, вызванные строе- 
нием головы, а также способность сжатия и растяжения тканей лица в этой конкретно 
взятой точке головы, а также затенения поверхности лица для правильного восприятия 
контуров. 

Однако решение такой задачи упирается в ряд сложностей — подавляющее 
большинство систем представления мимики описывают внешние проявления лишь в 
двух координатах — только ширину-высоту, а в ЗО-анимации требуется иметь третью 
координату — глубину. Учитывая этот факт, возникает проблема достаточно простого 
метода (или математической модели) пересчета степени внешних проявлений (полу- 
чаемых из двухмерной фотографии при анализе исходного мимического выражения) 
в степень изменения внутренних проявлений так, чтобы можно было получить неиз- 
вестную третью координату через зависимость вида: /=Кх,у). 

Изучение различных способов получения информации из потока жестовой речи 
показало, что эта проблема решается либо с помощью захвата движений (тойНоп сарвте) 
с использованием специального оборудования, либо созданием компьютерной анимации 
вручную. И тот, и другой метод весьма затратны и в человеческих ресурсах, и в плане 
использования дорогостоящего оборудования. Достаточно оригинальный метод при- 
думан группой исследователей из ГлиКорше ОшуегзИу: для захвата движений мимики 
используется трехмерная маска САМОШЕ [13], построенная на гибких шаблонах. Осо- 
бенностью этой системы является то, что в ней заложена модель внутренних прояв- 
лений, очень сходная с моделью ЕАС$Ф, в которой через характерные точки можно 
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получить степень изменения внутренних проявлений МИМИКИ (ре: МЫШЦ лица), что 
позволяет после предварительной обработки полученных результатов создавать про- 
стую трехмерную анимацию 3)-модели человека. 


Выводы 


Результаты исследования показали, что разрабатываемая знаковая система для 
ЖЯ должна соответствовать следующим критериям: 

— понятность знака и достоверное описывание физиологии человека (исполь- 
зование графической записи); 

— одинаковая возможность описания как особенностей мимики ЖЯ, так и 
эмоциональных проявлений; 

— возможность использования знаковой системы для различных ЖЯ; 

— возможность построения знака из нескольких с использованием диакрити- 
ческих знаков или языков текстовой разметки. 

Полученные результаты позволят, используя в качестве основы параметрическую 
модель САМОШЕ, использующей в своей основе как внешние, так и внутренние про- 
явления мимики жестовой речи, построить параметрическую модель для базовых 
мимических выражений ЖЯ. Дальнейшие исследования будут направлены на исполь- 
зование такой параметрической модели для анализа и трехмерного моделирования 
эмоциональных мимических проявлений на лице носителя ЖЯ. 


Литература 


1. Зайцева Г.Л. Жестовая речь. Дактилология : [учеб. для студ. высш. учеб. заведений] / 
Зайцева Г.Л. — М. : Гуманит. изд. центр ВЛАДОС, 2000. - 192 с. 

2. Экман П. Психология эмоций. Я знаю, что ты чувствуешь / Экман П.— СПб. : Питер, 2010. - 336 с. 

3. Дарвин Ч. О выражении эмоций у человека и животных / Дарвин Ч. — СПб. : Питер, 2001. - 384 с. 

4. ПиуегЕасе Рейшиоп$, У1З1САЗТ ОеПуегаЫе 05-1 / [Напке Т., Гапзег С., Мехоег С. её а] — Натбаго, 
шяеще оЁ Сегтап 51еп Гапочазе апа Соттишсаноп оЁ Ше ОеаЁ, 2002. — 74 р. 

5. Укранський жествник для батькв // С. В. Кульбда, [. 1. Чепчина, Н. Б Адамюк, Н. В. ванюшева; НАПН 
Укра1ни, Гн-т спец. педагогки, Лаб. жестово! мови, Укр. т-во глухих. — К. : СПКТБ УТОГ, 2011.- 380 с. 

6. Кульблда С.В. Укранська жестова мова як природна знакова система / С.В. Куль@да // зб1рник 
наукових праць : «Жестова мова й сучасн1сть». - К. : Педагогична думка, 2009 . - С. 218-239. 

7. МшШег С. А по оп поайоп / С. МШег // ш: $1епрозё. - Уо! 7, № 3'94. — Сага!, Саг@ШЁ апа Уае 
Оптуегзцу Неа Воага, 1994. —Р. 191-202. 

8. Сие&аЕРее Е. Аппо@йоп ог Моп Мапиа| Оезгез: Еуебго\ тоуетепЕ дезсирноп / СобеаеРе[6 Е., 
ВгаНоц А., Уегоп$ У. / ш: Сгазбогп, Обо её а1. (2008, ед.) Зв УУогК$Вор оп Кергезетайоп апа Ргосез$те оЁ 
$1еп Гапецаеез. \МозВор ргосее4пз$. Пиегпанопа| СоШегепсе оп Гапецаге Кезоигсез ап4 Еуаайоп 
(ГВЕС), МашакезЬ, Моитоссо. — Райз, ВЕКА, 2008. —Р.28-32. 

9. биНоп У. [е$301$ ш 51еп\/ пап / Зийоп У. — Га ЛоПа, Сещег Гог Завбоп Моуетепг( \/пипо, 2002. — 195 р. 

10. МШег Е. Р. Еас1а! Аспоп Содше Зузет / МШег Е. Р., Уапдоте А. Е., МсВтеу%ег 7. — Веаи Ваз, 
Геглайопа! Воок МагКенпх Зегутсе ла, 2011. - 80 р. 

11. Крак Ю.В. Параметрическое представление мимических проявлений в жестовой речи / Крак Ю.В.., 
Кузнецов В.О., Тернов А.С. // Международная научная конференция : Интеллектуальные системы 
принятия решений и проблемы вычислительного интеллекта. $0МСГ?20]12. : сб. науч. тр. — Херсон. : 
КИТО, 2012. - С. 103-104. 

12. ЕШой В. Тоууагаз фе Пеотайоп оЁ Зуптейс ЭГ, Апипаноп уф Ауаагз шю Согриз Аппоайоп Тоо[5 / 
[ЕШой В., Вчепо /., Кеппа\мау К., СЛаиеп ].] / п: Сгазбоги, Оцо её а1. (2010, ед$.) 48 У/огК$Вор оп 
Кергезетаноп ап Ргосеззте оЁ 51еп Гапецазез. У\УокзВор ргосеедтез. Пиегпанопа| Сошегепсе оп 
Гапецасе Кезопгсез апа Еуаабноп (Г.ВЕС), УаПека, Ма[а. — Раз, ЕГКА, 2010. -Р. 84-87. 

13. АЫБег® Г. САМОШЕ-3 - ап ирдаеа рагатаептеа Расе / АШБеге 7. — Гликбрше, Еда. ОР ГлакКбрте 
Ошуегзиу, 2001 — 16 р. 


«Штучний 1нтелект» 42012 181 


ЗК Крак Ю.В., Кузнецов В.А., Тернов А.С. 


Гщегасаге 

1. зийоп У. Ге5501$ ш З1еп\У папе. / Зийоп У. — Га оПа, Сещег Юг Завйоп МоуетепЕ \У/пипо, 2002. — 195 р. 
2. ЕКтап Р. "Рзуспоюэу о{ етойопз. [ Кпо\и \Ва( уоц Еее!" / ЕКтап Р. — $-РЬ.: Рцег, 2010. — 336 р. 

3. Оагмиш СВ. Ехргез$1юп оЁ етойопа! аНес( оЁ Битап ап4 апппа[5/ Рагули СБ. — 5-РЬ.: Риег, 2001. — 384 


р. 

4. ГПие асе Оейииюопз, Ут51САЗТ РБеПуегае 05-1./ [Напке Т., Гапоег @., Мемоег С. её а] — Натфого, 
Го1аце оЁ Оегтап 511 Гапехиасе апа Соттиштсайоп оЁ Фе ОеаЁ, 2002. — 74 р. 

5. ЧКгаипап $1 ]1апеиазе Чсвопагу Юг рагепб. // 5. У. Кода, Г. Г. СперсЬта, М. В. Адапик, М. У. 
ГуапизсВеуа; МАРЗ оЁ ОКгаше, шзивие оЁ зресла] {еаст®, Габогаю(у оЁ $1еп ]апоиазе, ОКгаилап ДеаЁ 
зосейу. — К.: ЭРСТВ ОТОС, 2011. - 380 р. 

6. Киа 5.У. ОКгапмап 11 ]апепасе аз а пабга]! побаноп зузет / 5.У. КаЫ@а // зслепийс ]оигпа] «3121 
1апоцасе ап тодегп»: К.: РедазослсрВа Чика, 2009 .-—Р.218-239. 

7. Мшег С. А пое оп поайоп / МшШег С. // 1: 51епроз. — Уо| 7, № 3'94. — Сага, Саг@ Ш апа Уае 
Отуегзцу НеаКВ Воахга, 1994. — Р.191-202. 

8 СрбеанРе6 Е. Аппойоп оЁ М№оп Мапиа| Сезгез: Еуебго\и тоуетепе дезсирноп / СВоа-Рее6 Е., 
ВгаНом А., Уеготз ] / ш: Сгазбоги, Обо её а[. (2008, ефз.) Зв У№огКзВор оп КергезещаНноп апа 
Ргосеззте оЁ 51еп Гапецасез. \УУотК5Вор ргосее 115$. ПиегпаНопа! СопЁегепсе оп Гапгиазе Кезопгсез 
апа Еуааайоп (ГКЕС), МаггаКезВ, Моггоссо М. — Рам$ : ЕГКА, 2008. -Р. 28-32. 

9. зиНоп У. [е5$01$ ш 512 п\Упйпе. / Зивоп У. — Га оПа, Сещег Юг Зибоп Моуетепе У/папо, 2002. — 195 р. 

10. МШег Е.Р. Каса! Асбоп Содте Зузет. / МШег Е.Р., Уапаоте А.Е., МсеВтемуег ТУ. — Веаи Ваззт, 
щегпайопа| ВооК Мащейпх Зегу1се Гда, 2011. - 80 р. 

11. Кгак Га. У. Рагатеблса] гергезеаНоп оЁ пишиса| азрес$ оЁ 1юп 1апзчасе / Ктак Га.У., Кихпезоу У.А., 
Тегпоу А.5. // Пиегпайопа| Сопегепсе ПиеПесвша] Зузетз юг Оес15юп Макше апа Ргоепз$ оЁ 
СотрийНопа| ПеШэепсе $0МСГ?2012. - Сопё. ргос. — КБегзоп : КМТО, 2012. -Р.1 03-104. 

12. ЕШой В. То\агаз ше Пиезтайоп оЁ Зупейс ЭГ, АпипаНноп у Ауаагз шю Согриз Аппоайоп Тоо15 / 
[ЕШой В., Виепо Т., Кеппа\мау К., СЛацег /.] / п: СгазБоги, ОКо её а1. (2010, ед.) 4 УогК$Вор оп 
Кергезещаноп апа Ргосеззте оЁ 51еп Гапеиасез. \УогКкзПор ргосееЯ 11$. ПиегпаНопа! СопЁегепсе оп 
Гапеиасе Кезоигсез апа ЕуаааНоп (ГКЕС), УаПеца, Ма[а. — Рапз, ЕГ.ВА, 2010. - Р. 84-87. 

13. АШБег® 7. САМОШЕ-3 -— ап ир4ае4 рагатеенте {асе / АШБего 7. — Гликбрше, Ва. ОЕ ГлаКбрше 
Отхуегзиу, 2001 — 16р. 

ВЕЗОМЕ 

Ти.У. КтаК, У.А. Кихпебоу, А.5. Тегпоу 


№ лапоп 5уяету от езсптрте Еасш Ехргезяюоп5 т 51еп Гапгиаееу 

Пезспре ш Ше агасе аге Фе еп 1апопасе Рас1а] ехргезз1юп поайоп зуетз, ий те шт 
Гаифбег деу@ортепе оЁ $1еп 1апецасе едисаноп зузет ог то4дейпе оЁ засВ азрес{$ оЁ {ас1а1 
ехргез$10п5$ аз етонопа! аЙесь Ююси$, юр! ап ш этаплитаг сопзегасйоп$. \Ме апа[уте4 @гее 
еп |апоисе поавоп зузет$ — НАС, НатМоЗуз апа 51еп\У/пип> оп ригрозе ю Нп4 Ше Бе 
зицаЫе ууау ю дезспБе Гаста] ехргез$1ют$ ш ОКгаптап $11 1апечасе (ЦазГ.). 

[ Баз Бееп аррПе4 а Ппеи1$Ис апа[уз1$ оЁ {ехё 4езсириоп$ ш поайоп зузетз, 
отушо а$ а гези а плита! $её о{ Теаагез, Бете изе4 ш поаНоп зуз{етт$. 

Тье тгеза{ оЁ зисб апа|з$у$ соп$1ег$ фаЁ еасб зузет Ваз Бо адуашасез апа 
ЧзаЧуатасе$ Бесаизе о! пет @1ШНегепЕ уле\у а з1ет1Исапсе оЁ етойопа! аНесь, тои ше, 
ииегпа! Гасе Геаагез, бе иза цу Гог еп4 изегз апа запабиу Гог РС. ЗисВ сопз14дегайоп$ 
тезие4 ю Фе тат 14еаз Во\ ю дезспВе Гасла] ехргез$10п$ ш $1еп 1апецаее: 

—поаноп зузет зВошША 4езсге Ше Гас1а] ехргезз1оп аз \еП аз геа| птазе 40е$; 

—зузжет зпоч!4 деа! ме! ул етойопа! аЙесе т Гасла] ехргез$10п$ аз \меЙ аз ми 
тои; 

—поайоп зузет зВошШ@ Бе зипаЫе Гог Ч1егепе 51оп 1апоиасез; 

—еасЬ $1еп сап Бе еазПу гергодисе Бу запагА теап$ оЁ РС, сопзбгиасНпе Нот 
тре еетеп; 

—поавоп зует плиз Вауе а пишита!| $е{ оЁ Теабиге$ фа аезспЬе Гасла| ехргезз1оп. 

Тре оМаше4 зе? оЁ Геаге$ 15 ехремей №ю арру ш рагатейлс плоде! оЁ Ъаз1с Раса! 
ехр!ез$1оп$ ш ЧазГ.,, Базе оп а рагаиптетзе4 тоде! САМОШЕ, св деа1 ул ижегпа! ап4 
ежегпа| Геабагез ш Тас1а! ехргез$1оп$. Еагфег гезеагсь \%\Ш арр!у 15$ тоде! Гог сотрщег 
апа|зуз ап тоде!те оЁГетобопа! аНесе т Гасла| ехргезз1оп$ ш Расе оЁ пайуе з1епегв. 
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